Voting

Ensemble의 사용될 model(function)들을 combining하는 방법.

y (x) = f (h_{1} (x), h_{2} (x), \dots, h_{L} (x) ∣Θ)

: $L$ 개의 base-learner를 어떠한 combining function $f$ 를 이용해 Ensemble한다.

각각의 model의 output이 vector인 경우,

y_{i} = f (h_{1 i}, h_{2 i}, \dots, h_{L i} ∣Θ), for all i

: when vector dimension if $i$ .

Combination functions

Plurality voting, Average: $y = \frac{1}{L} l \sum h_{l}$ , 같은 feature에 대해서 평균을 낸다.
Weighted sum: $y = l \sum w_{l} h_{l}, where w_{l} \geq 0 and l \sum w_{l} = 1$
Product: $y = \prod_{l} h_{l}$
Median: $median_{l} h_{l}$
Minimum: $min_{l} h_{l}$
Maxinum: $max_{l} h_{l}$

이러한 방식의 Bias와 Variance 또한 만들어지며, 그에 따르면 모델이 많아질수록 Variance가 작아져 정답에 가까워진다.

Expectation: $E [y] = E [\frac{1}{L} l \sum h_{l}] = \frac{1}{L} l \sum E [h_{l}] = E [h_{l}]$
Variance: $V [\frac{1}{L} l \sum h_{l}] = \frac{1}{L ^{2}} (l \sum V [h_{l}] + l \sum i \sum CV [h_{l}, h_{i}])$
- 모델 $(L)$ 이 많아질수록, Variance가 작아진다. 이는 model이 indepentdent 하게 잘 만들어졌을 경우, 많아질수록 정답에 가까워짐을 의미한다.